#self-speculative decoding

3 篇

Large Flow Language Models

大规模流语言模型：连续流实现并行生成与自推测加速

🧭 连续流语言模型 · 块并行解码加速

UC Berkeley · Amazon · KAIST · Carnegie Mellon University

Lafa 8B 连续流语言模型用 <30B token 训练达到 AR 质量，并以自推测解码实现 2.54 倍吞吐

📌 工作参考价值（4 点）

连续流语言模型可直接适配预训练 AR 模型，只用不到 30B token 训练即可达到匹配或更好的指令跟随/推理/编码质量，对业务中已有 LLM 的低成本改造有参考价值；在搜索 query 生成、广告文案生成等高吞吐场景，可将 AR 模型转为流式并行解码。
自推测解码方案用同一模型生成流式草稿并自回归验证，无需额外 draft 模型，相较 multi-token prediction 和离散扩散方法吞吐提升显著（2.54 倍），可直接用于线上推理降本。
blockwise 流建模 + prefix caching + 块并行解码的组合可以作为工程参考：前缀因果注意力保证与 AR 的兼容性，块内双向异步流提升并行度，适合生成式推荐的 prompt 长、重复前缀多的场景。
流训练带来的 multi-token prediction 效应能保留甚至提升预训练 AR 能力，说明可以在业务微调阶段引入流训练做能力增强，而不只是推理加速。

LLM | 2026-10-19 | HF Daily | score 7/10

扩散草稿 + 自回归验证加速文档 OCR

🧭 扩散草稿 + 自回归验证加速生成

Trillion Labs · Korea University · Seoul National University

参数共享 AR-block-diffusion 模型并行草稿 + AR 验证，实现 OCR 解码 3.94 倍加速

📌 工作参考价值（4 点）

生成式推荐/广告文案等 input-grounded 长文本任务可借鉴：用 diffusion 并行生成多个 draft token，再用共享参数的 AR 路径做因果验证，接受多 token 提交，无需额外 drafter 网络。
GRPO 直接优化共享 drafter 参数，用序列级或结构级奖励（如文本格式、关键词覆盖）避免 diffusion trajectory likelihood 估计，训练更稳定且可优化业务目标。
自推测解码可嵌入现有 serving 框架（如 SGLang），平均每 forward 提交 9.7 tokens，适合高吞吐低延迟的在线文案生成、query 推荐场景。
OCR/文档理解中的结构化输出（HTML/LaTeX）奖励信号可类比于电商场景的结构化商品描述、广告落地页生成，可直接复用奖励设计思路。

Other | 2026-09-22 | cs.CL | score 6/10

面向强化学习Rollout的系统感知自推测解码

🧭 LLM训练加速 · 自推测解码

FuriosaAI · University of California, Berkeley

系统感知自推测解码框架，自适应切换推测解码与草稿长度，将RL rollout延迟降低19.6%且不损失模型质量。

📌 工作参考价值（4 点）

在RL微调LLM（如GRPO/PPO）时，rollout生成是瓶颈，可直接采用自推测解码（self-speculative decoding）：从目标模型量化出轻量draft模型，无需额外训练，保持与进化策略分布对齐，降低工程维护成本。
系统感知的SD切换策略（toggle policy）根据批次大小和计算状态动态开启/关闭推测解码：只在内存密集、并行验证能利用闲置算力时启用，避免计算密集阶段引入额外开销。此动态调度思想可迁移到生产环境的在线推理加速中。
接受率感知的草稿长度自适应（acceptance-aware draft-length adaptation）：根据近期接受率动态调节每次推测的token数量，匹配draft质量变化，避免无效生成。类似机制可用于自适应调整推理时的speculative长度，降低延迟抖动。
整体框架强调系统级的协同设计，而不只是算法优化。做推荐/Agent类LLM应用时，若涉及线上更新或频繁微调，可考虑将系统负载感知纳入推测解码的调度策略，提升资源利用率。

Training | 2026-06-16 | HF Daily | score 7/10